Si le palais Fénelon est vendu à la révolution comme bien national, l’ensemble du site, déjà abîmé lors d’un incendie en 1791, est peu à peu colonisé par différentes constructions industrielles à partir de 1813 (ateliers de tissage de cotonnades) : venus de Suisse, les frères Auguste et Charles Seydoux s’y installent en 1824 et commencent à bâtir un véritable empire dont le premier acte est le rachat d’une fabrique fondée quelques années plus tôt par le lyonnais Jacques Paturle. Par des jeux d’alliances et d’habiles stratégies économiques, politiques autant que matrimoniales, plusieurs générations de Seydoux font de la ville du Cateau l’un des premiers centres lainiers du Nord : entre 1800 et 1850, la ville passe de 4000 à 8000 habitants. En 1900, sur la seule ville, travaillent 1700 ouvriers, auxquels il faut ajouter 1500 autres ouvriers répartis dans les villages environnants. 

Au fil des années, les Seydoux ont occupé tous les postes : maire (Auguste Seydoux), président du conseil général (Charles puis Alfred Seydoux), régent de la Banque de France (Alfred Seydoux). Sans oublier les participations au conseil de régie de la compagnie des mines d’Anzin, au conseil d’administration des chemins de fer du Nord, etc. Sur place, au Cateau, les Seydoux semblables aux grandes dynasties des patrons du Nord créent une caisse de secours pour les ouvriers, une école de filles, une caisse d’épargne, une maison de retraite, un hôpital…

A partir des années 1950, la crise du textile commence à atteindre l’empire Seydoux qui ferme définitivement en 1981.